கண்ணுக்குப் புலப்படாததை காட்சிப்படுத்துதல்: டிரான்ஸ்ஃபார்மர் கவன இயக்கமுறைக்கான ஒரு ஃபிரண்ட்எண்ட் பொறியாளரின் வழிகாட்டி

கடந்த சில ஆண்டுகளில், செயற்கை நுண்ணறிவு ஆராய்ச்சி ஆய்வகங்களிலிருந்து நமது அன்றாட வாழ்க்கைக்குள் நுழைந்துள்ளது. GPT, Llama மற்றும் Gemini போன்ற பெரிய மொழி மாதிரிகள் (LLMகள்) கவிதை எழுதவும், குறியீட்டை உருவாக்கவும், குறிப்பிடத்தக்க வகையில் ஒருமித்த உரையாடல்களை நடத்தவும் முடியும். இந்த புரட்சிக்கு பின்னால் இருப்பது டிரான்ஸ்ஃபார்மர் எனப்படும் நேர்த்தியான மற்றும் சக்திவாய்ந்த கட்டமைப்பு. இருப்பினும், பலருக்கு, இந்த மாதிரிகள் ஊடுருவ முடியாத "கருப்பு பெட்டிகளாக" இருக்கின்றன. நாங்கள் நம்பமுடியாத வெளியீட்டைப் பார்க்கிறோம், ஆனால் உள் செயல்முறையைப் புரிந்துகொள்ளவில்லை.

ஃபிரண்ட்எண்ட் மேம்பாட்டு உலகம் ஒரு தனித்துவமான மற்றும் சக்திவாய்ந்த கண்ணாடியை வழங்கும் இடம் இதுதான். தரவு காட்சிப்படுத்தல் மற்றும் பயனர் தொடர்பு ஆகியவற்றில் உள்ள எங்கள் திறன்களைப் பயன்படுத்துவதன் மூலம், இந்த சிக்கலான அமைப்புகளின் அடுக்குகளை உரித்து, அவற்றின் உள் செயல்பாடுகளை வெளிச்சம் போட்டுக் காட்டலாம். இந்தக் கையேடு ஆர்வமுள்ள ஃபிரண்ட்எண்ட் பொறியாளருக்கானது, கண்டுபிடிப்புகளைத் தெரிவிக்க விரும்பும் தரவு விஞ்ஞானிக்கான, மற்றும் விளக்கக்கூடிய AI இன் சக்தியில் நம்பிக்கை கொண்ட தொழில்நுட்பத் தலைவருக்கானது. டிரான்ஸ்ஃபார்மரின் இதயமான கவன இயக்கமுறைக்குள் ஆழமாக மூழ்கி, இந்த கண்ணுக்குப் புலப்படாத செயல்முறையை காணக்கூடியதாக மாற்ற உங்கள் சொந்த ஊடாடும் காட்சிகளை உருவாக்க ஒரு தெளிவான வரைபடத்தை உருவாக்குவோம்.

AI இல் ஒரு புரட்சி: டிரான்ஸ்ஃபார்மர் கட்டமைப்பின் ஒரு பார்வை

டிரான்ஸ்ஃபார்மருக்கு முன், மொழிபெயர்ப்பு போன்ற தொடர் அடிப்படையிலான பணிக்கான ஆதிக்கம் செலுத்தும் அணுகுமுறையில் மறுநிகழ்வு நரம்பியல் நெட்வொர்க்குகள் (RNNகள்) மற்றும் அவற்றின் மேம்பட்ட மாறுபாடான லாங் ஷார்ட்-டெர்ம் மெமரி (LSTM) நெட்வொர்க்குகள் ஆகியவை அடங்கும். இந்த மாதிரிகள் முந்தைய சொற்களின் "நினைவகத்தை" முன்னோக்கி கொண்டு சென்று, ஒரு வார்த்தையாக தரவை வரிசையாக செயலாக்குகின்றன. பயனுள்ளதாக இருந்தாலும், இந்த வரிசை இயல்பு ஒரு தடையை உருவாக்கியது; பாரிய தரவுத்தொகுப்புகளில் பயிற்சி செய்வது மெதுவாக இருந்தது மற்றும் நீண்ட தூர சார்புகளுடன் போராடியது - ஒரு வாக்கியத்தில் வெகு தொலைவில் உள்ள சொற்களை இணைக்கிறது.

புதுமையான 2017 தாள், "அட்டென்ஷன் இஸ் ஆல் யூ நீட்," டிரான்ஸ்ஃபார்மர் கட்டமைப்பை அறிமுகப்படுத்தியது, இது முற்றிலும் மறுநிகழ்வைத் தவிர்த்தது. அதன் முக்கிய கண்டுபிடிப்பு அனைத்து உள்ளீட்டு டோக்கன்களையும் (சொற்கள் அல்லது துணை சொற்கள்) ஒரே நேரத்தில் செயலாக்குவதாகும். அதன் மைய அங்கமான சுய-கவன இயக்கமுறைக்கு நன்றி, ஒவ்வொரு வார்த்தையின் செல்வாக்கையும் வாக்கியத்தில் உள்ள ஒவ்வொரு வார்த்தையிலும் ஒரே நேரத்தில் எடையிட முடியும். இந்த இணை செயலாக்கம் முன்னோடியில்லாத அளவிலான தரவுகளில் பயிற்சி செய்வதற்கான திறனைத் திறந்தது, இது இன்று நாம் காணும் பாரிய மாதிரிகளுக்கு வழி வகுத்தது.

டிரான்ஸ்ஃபார்மரின் இதயம்: சுய-கவன இயக்கமுறையைத் துல்லியமாக்குதல்

டிரான்ஸ்ஃபார்மர் நவீன AI இன் இயந்திரம் என்றால், கவன இயக்கமுறை அதன் துல்லியமாக வடிவமைக்கப்பட்ட மையமாகும். சூழலைப் புரிந்துகொள்ளவும், தெளிவின்மையை அகற்றவும், மொழியின் வளமான, நுணுக்கமான புரிதலை உருவாக்கவும் மாதிரியை அனுமதிக்கும் கூறு இது.

முக்கிய உள்ளுணர்வு: மனித மொழியிலிருந்து இயந்திர கவனம் வரை

நீங்கள் இந்த வாக்கியத்தைப் படிப்பதாக கற்பனை செய்து கொள்ளுங்கள்: "டெலிவரி டிரக் கிடங்கிற்கு இழுத்து வரப்பட்டது, மேலும் டிரைவர் அதை இறக்கினார்."

ஒரு மனிதனாக, "அது" "டிரக்", "கிடங்கு" அல்லது "டிரைவர்" அல்ல என்பதை உடனடியாக அறிவீர்கள். உங்கள் மூளை கிட்டத்தட்ட உள்மனதில் முக்கியத்துவத்தை அல்லது "கவனத்தை" வாக்கியத்தில் உள்ள மற்ற சொற்களுக்கு பிரதிபெயர்ச்சொல் "அது" ஐ புரிந்து கொள்ள ஒதுக்குகிறது. சுய-கவன இயக்கமுறை இந்த உள்ளுணர்வின் கணித முறைப்படுத்தலாகும். அது செயலாக்கும் ஒவ்வொரு வார்த்தைக்கும், அது உள்ளீட்டில் உள்ள ஒவ்வொரு வார்த்தையிலும் எவ்வளவு கவனம் செலுத்த வேண்டும் என்பதைக் குறிக்கும் கவன மதிப்பெண்களின் தொகுப்பை உருவாக்குகிறது, தன்னைத்தானும் சேர்த்து.

ரகசிய பொருட்கள்: வினவல், விசை மற்றும் மதிப்பு (Q, K, V)

இந்த கவன மதிப்பெண்களைக் கணக்கிட, மாதிரி முதலில் ஒவ்வொரு உள்ளீட்டு சொல்லின் உட்பொதிவையும் (அதன் பொருளைக் குறிக்கும் எண்களின் திசையன்) மூன்று தனித்தனி திசையன்களாக மாற்றுகிறது:

• வினவல் (Q): தற்போதைய சொல் கேட்கும் கேள்வியாக வினவலை நினைத்துப் பாருங்கள். "இது" என்ற வார்த்தைக்கு, வினவல், "நான் ஒரு பொருள் செயல்படுகிறேன்; இந்த வாக்கியத்தில் ஒரு உறுதியான, நகர்த்தக்கூடிய பொருள் என்ன?"
• விசை (K): விசை வாக்கியத்தில் உள்ள ஒவ்வொரு வார்த்தையிலும் ஒரு லேபிள் அல்லது ஒரு வழிகாட்டி போன்றது. "டிரக்" என்ற வார்த்தைக்கு, அதன் விசை, "நான் ஒரு நகர்த்தக்கூடிய பொருள்" என்று பதிலளிக்கலாம். "கிடங்கு"க்கு, விசை, "நான் ஒரு நிலையான இடம்" என்று கூறலாம்.
• மதிப்பு (V): மதிப்பு திசையன் ஒரு சொல்லின் உண்மையான பொருள் அல்லது சாரத்தைக் கொண்டுள்ளது. ஒரு சொல் முக்கியமானது என்று நாங்கள் முடிவு செய்தால், நாங்கள் வரைய விரும்பும் வளமான சொற்பொருள் உள்ளடக்கம் இது.

இந்த Q, K, மற்றும் V திசையன்களை உருவாக்க மாதிரி பயிற்சியின்போது கற்றுக்கொள்கிறது. முக்கிய யோசனை எளிதானது: ஒரு சொல் மற்றொன்றுக்கு எவ்வளவு கவனம் செலுத்த வேண்டும் என்பதைக் கண்டுபிடிக்க, முதல் சொல்லின் வினவலை இரண்டாவது சொல்லின் விசையுடன் ஒப்பிடுகிறோம். அதிக இணக்கத்தன்மை மதிப்பெண் என்றால் அதிக கவனம்.

கணித செய்முறை: கவனத்தை சமைத்தல்

செயல்முறை ஒரு குறிப்பிட்ட சூத்திரத்தைப் பின்பற்றுகிறது: Attention(Q, K, V) = softmax((QK^T) / sqrt(d_k)) * V. இதை படிப்படியான செயல்முறையாக உடைப்போம்:

1. மதிப்பெண்களைக் கணக்கிடுங்கள்: ஒரு சொல்லின் வினவல் திசையனுக்கு, நாம் அதன் டாட் தயாரிப்பை வாக்கியத்தில் உள்ள ஒவ்வொரு சொல்லின் விசை திசையனுடன் எடுத்துக்கொள்கிறோம் (தன்னைத்தானும் சேர்த்து). டாட் தயாரிப்பு இரண்டு திசையன்களுக்கு இடையே உள்ள ஒற்றுமையை அளவிடும் ஒரு எளிய கணித செயல்பாடு ஆகும். அதிக டாட் தயாரிப்பு என்றால், திசையன்கள் ஒரு ஒத்த திசையில் சுட்டிக்காட்டுகின்றன, இது வினவலின் "கேள்விக்கும்" விசை "லேபிளுக்கும்" இடையே ஒரு வலுவான பொருத்தத்தைக் குறிக்கிறது. இது ஒவ்வொரு சொல் ஜோடிக்கும் ஒரு மூல மதிப்பெண்ணை வழங்குகிறது.
2. அளவிடுதல்: இந்த மூல மதிப்பெண்களை விசை திசையன்களின் பரிமாணத்தின் சதுர மூலத்தால் பிரிக்கிறோம் (d_k). இது ஒரு தொழில்நுட்பமான ஆனால் முக்கியமான படி. இது டாட் தயாரிப்பு மதிப்புகள் மிக அதிகமாகாமல் தடுப்பதன் மூலம் பயிற்சி செயல்முறையை உறுதிப்படுத்த உதவுகிறது, இது அடுத்த கட்டத்தில் மறையும் சாய்வுக்கு வழிவகுக்கும்.
3. சாஃப்ட்மேக்ஸைப் பயன்படுத்துங்கள்: அளவிடப்பட்ட மதிப்பெண்கள் பின்னர் ஒரு சாஃப்ட்மேக்ஸ் செயல்பாட்டில் செலுத்தப்படுகின்றன. சாஃப்ட்மேக்ஸ் என்பது எண்களின் பட்டியலை எடுத்து அவற்றை 1.0 ஆக சேர்க்கும் நிகழ்தகவுகளின் பட்டியலாக மாற்றும் கணித செயல்பாடு ஆகும். இந்த விளைவாக வரும் நிகழ்தகவுகள் கவன எடைகள். 0.7 எடை கொண்ட ஒரு சொல் மிகவும் பொருத்தமானதாகக் கருதப்படுகிறது, அதே நேரத்தில் 0.01 எடை கொண்ட ஒரு சொல் பெரும்பாலும் புறக்கணிக்கப்படுகிறது. இந்த எடைகளின் மேட்ரிக்ஸ் தான் நாம் காட்சிப்படுத்த விரும்புவது.
4. ஒட்டுமொத்த மதிப்புகள்: இறுதியாக, எங்கள் அசல் சொல்லுக்கு ஒரு புதிய, சூழல் விழிப்புணர்வு பிரதிநிதித்துவத்தை உருவாக்குகிறோம். வாக்கியத்தில் உள்ள ஒவ்வொரு சொல்லின் மதிப்பு திசையனையும் அதன் தொடர்புடைய கவன எடையால் பெருக்குவதன் மூலம் இதைச் செய்கிறோம், பின்னர் இந்த அனைத்து எடை மதிப்பு திசையன்களையும் கூட்டுகிறோம். சாராம்சத்தில், இறுதி பிரதிநிதித்துவம் மற்ற எல்லா சொற்களின் அர்த்தங்களின் கலவையாகும், அங்கு கலவை கவன எடைகளால் தீர்மானிக்கப்படுகிறது. அதிக கவனம் செலுத்திய சொற்கள் இறுதி முடிவுக்கு அவற்றின் பொருளை அதிகம் பங்களிக்கின்றன.

ஏன் குறியீட்டை ஒரு படமாக மாற்ற வேண்டும்? காட்சிப்படுத்தலின் முக்கியமான பங்கு

கோட்பாட்டைப் புரிந்துகொள்வது ஒரு விஷயம், ஆனால் அதை செயல்பாட்டில் பார்ப்பது வேறு. கவன இயக்கமுறையை காட்சிப்படுத்துவது ஒரு கல்விப் பயிற்சி மட்டுமல்ல; இந்த சிக்கலான AI அமைப்புகளை உருவாக்குதல், பிழைத்திருத்தம் செய்தல் மற்றும் நம்புவதற்கான ஒரு முக்கியமான கருவி இது.

கருப்பு பெட்டியைத் திறப்பது: மாதிரி விளக்கம்

ஆழமான கற்றல் மாதிரிகளின் மிகப்பெரிய விமர்சனம் அவற்றின் விளக்கமின்மை ஆகும். காட்சிப்படுத்தல் உள்ளே உற்றுப் பார்க்கவும், "ஏன் மாதிரி இந்த முடிவை எடுத்தது?" என்ற கேள்வியைக் கேட்கவும் அனுமதிக்கிறது. கவன முறைகளைப் பார்ப்பதன் மூலம், மொழிபெயர்ப்பை உருவாக்கும்போது அல்லது ஒரு கேள்விக்கு பதிலளிக்கும்போது மாதிரி எந்த வார்த்தைகளைக் கருத்தில் கொண்டது என்பதைப் பார்க்க முடியும். இது ஆச்சரியமான நுண்ணறிவுகளை வெளிப்படுத்தலாம், தரவுகளில் மறைந்திருக்கும் சார்புகளை அம்பலப்படுத்தலாம் மற்றும் மாதிரியின் பகுத்தறிவில் நம்பிக்கையை உருவாக்கலாம்.

ஒரு ஊடாடும் வகுப்பறை: கல்வி மற்றும் உள்ளுணர்வு

டெவலப்பர்கள், மாணவர்கள் மற்றும் ஆராய்ச்சியாளர்களுக்கு, ஒரு ஊடாடும் காட்சிப்படுத்தல் ஒரு இறுதி கல்வி கருவியாகும். சூத்திரத்தைப் படிப்பதற்கு பதிலாக, நீங்கள் ஒரு வாக்கியத்தை உள்ளிடலாம், ஒரு வார்த்தையின் மீது வட்டமிட்டு, மாதிரி உருவாக்கும் இணைப்புகளின் வலையை உடனடியாகக் காணலாம். இந்த நடைமுறை அனுபவம் ஒரு ஆழமான, உள்ளுணர்வு புரிதலை உருவாக்குகிறது, அதை ஒரு பாடப்புத்தகம் மட்டும் வழங்க முடியாது.

பார்வையின் வேகத்தில் பிழைத்திருத்தம்

ஒரு மாதிரி ஒரு விசித்திரமான அல்லது தவறான வெளியீட்டை உருவாக்கும்போது, ​​பிழைத்திருத்தத்தை எங்கு தொடங்குவது? கவன காட்சிப்படுத்தல் உடனடி தடயங்களை வழங்க முடியும். மாதிரி பொருத்தமற்ற நிறுத்தற்குறிக்கு கவனம் செலுத்துகிறது, ஒரு பிரதிபெயர்ச்சொல்லை சரியாக தீர்க்கத் தவறிவிட்டது அல்லது ஒரு சொல் தன்னைத்தானே கவனம் செலுத்தும் மீண்டும் மீண்டும் சுழற்சிகளைக் காட்டுகிறது என்பதை நீங்கள் கண்டுபிடிக்கலாம். இந்த காட்சி வடிவங்கள் மூல எண் வெளியீட்டைப் பார்ப்பதை விட பிழைத்திருத்த முயற்சிகளுக்கு மிகவும் திறம்பட வழிகாட்ட முடியும்.

ஃபிரண்ட்எண்ட் வரைபடம்: கவனக் காட்சிப்படுத்தியை வடிவமைத்தல்

இப்போது, ​​நடைமுறைக்கு வருவோம். ஃபிரண்ட்எண்ட் பொறியாளர்களாகிய நாம், இந்த கவன எடைகளைக் காட்சிப்படுத்த ஒரு கருவியை எவ்வாறு உருவாக்குவது? தொழில்நுட்பம், தரவு மற்றும் UI கூறுகளை உள்ளடக்கிய ஒரு வரைபடம் இங்கே.

உங்கள் கருவிகளைத் தேர்ந்தெடுப்பது: நவீன ஃபிரண்ட்எண்ட் ஸ்டாக்

• முக்கிய தர்க்கம் (ஜாவாஸ்கிரிப்ட்/டைப்ஸ்கிரிப்ட்): நவீன ஜாவாஸ்கிரிப்ட் தர்க்கத்தை கையாளும் திறனைக் கொண்டுள்ளது. கவன மேட்ரிக்ஸ்கள் போன்ற நெஸ்டட் தரவு கட்டமைப்புகளைக் கையாளும் போது, ​​குறிப்பாக வகை பாதுகாப்பு மற்றும் பராமரிப்புக்கு இந்த திட்டத்திற்கு டைப்ஸ்கிரிப்ட் மிகவும் பரிந்துரைக்கப்படுகிறது.
• UI கட்டமைப்பு (ரியாக்ட், வியூ, ஸ்வெல்ட்): காட்சிப்படுத்தலின் நிலையை நிர்வகிக்க ஒரு அறிவிப்பு UI கட்டமைப்பு அவசியம். ஒரு பயனர் ஒரு வித்தியாசமான சொல்லின் மீது வட்டமிடும்போது அல்லது ஒரு வித்தியாசமான கவன தலையைத் தேர்ந்தெடுக்கும்போது, ​​முழு காட்சிப்படுத்தலும் எதிர்வினை ஆற்றலுடன் புதுப்பிக்கப்பட வேண்டும். ரியாக்ட் அதன் பெரிய சுற்றுச்சூழல் அமைப்பு காரணமாக ஒரு பிரபலமான தேர்வாகும், ஆனால் வியூ அல்லது ஸ்வெல்ட் சமமாக வேலை செய்யும்.
• வழங்கல் இயந்திரம் (SVG/D3.js அல்லது கேன்வாஸ்): உலாவியில் கிராஃபிக்ஸ் வழங்குவதற்கு உங்களுக்கு இரண்டு முதன்மை தேர்வுகள் உள்ளன:
  • SVG (ஸ்கேலபிள் வெக்டர் கிராஃபிக்ஸ்): இந்த பணிக்கு இது பெரும்பாலும் சிறந்த தேர்வாகும். SVG கூறுகள் DOM இன் ஒரு பகுதியாகும், அவை CSS உடன் எளிதாக ஆய்வு செய்ய, ஸ்டைல் ​​செய்ய மற்றும் நிகழ்வு கையாளுபவர்களை இணைக்க அனுமதிக்கின்றன. D3.js போன்ற நூலகங்கள் தரவை SVG கூறுகளுடன் பிணைப்பதில் வல்லவர்கள், வெப்ப வரைபடங்கள் மற்றும் டைனமிக் கோடுகளை உருவாக்க சரியானவை.
  • கேன்வாஸ்/வெப்ஜிஎல்: நீங்கள் மிகவும் நீண்ட வரிசைகளை (ஆயிரக்கணக்கான டோக்கன்கள்) காட்சிப்படுத்த வேண்டும் மற்றும் செயல்திறன் ஒரு சிக்கலாக மாறும் என்றால், கேன்வாஸ் API ஒரு குறைந்த அளவிலான, அதிக செயல்திறன் கொண்ட வரைதல் மேற்பரப்பை வழங்குகிறது. இருப்பினும், இது DOM இன் வசதியை நீங்கள் இழப்பதால், இது அதிக சிக்கலான தன்மையுடன் வருகிறது. பெரும்பாலான கல்வி மற்றும் பிழைத்திருத்த கருவிகளுக்கு, SVG சிறந்த தொடக்க புள்ளியாகும்.

தரவை கட்டமைத்தல்: மாதிரி நமக்கு என்ன தருகிறது

எங்கள் காட்சிப்படுத்தலை உருவாக்க, மாதிரியின் வெளியீடு ஒரு கட்டமைக்கப்பட்ட வடிவத்தில் நமக்குத் தேவை, பொதுவாக JSON. ஒரு ஒற்றை சுய-கவன அடுக்குக்கு, இது இப்படி இருக்கும்:

{ "tokens": ["The", "delivery", "truck", "pulled", "up", "to", "the", "warehouse"], "attention_weights": [ // Layer 0, Head 0 { "layer": 0, "head": 0, "weights": [ [0.7, 0.1, 0.1, 0.0, ...], // Attention from "The" to all other words [0.1, 0.6, 0.2, 0.1, ...], // Attention from "delivery" to all other words ... ] }, // Layer 0, Head 1... ] }

முக்கிய கூறுகள் `tokens` பட்டியல் மற்றும் `attention_weights`, அவை பெரும்பாலும் அடுக்கு மற்றும் "தலை" மூலம் நெஸ்டட் செய்யப்படுகின்றன (அடுத்து அதைப் பற்றி மேலும்).

UI ஐ வடிவமைத்தல்: நுண்ணறிவிற்கான முக்கிய கூறுகள்

ஒரு நல்ல காட்சிப்படுத்தல் ஒரே தரவின் மீது பல முன்னோக்குகளை வழங்குகிறது. கவனக் காட்சிப்படுத்திக்கான மூன்று அத்தியாவசிய UI கூறுகள் இங்கே.

வெப்ப வரைபடக் காட்சி: ஒரு பறவையின் கண் பார்வை

இது கவன மேட்ரிக்ஸின் மிகவும் நேரடியான பிரதிநிதித்துவம். இது ஒரு கட்டம், அங்கு வரிசைகள் மற்றும் நெடுவரிசைகள் உள்ளீட்டு வாக்கியத்தில் உள்ள டோக்கன்களைக் குறிக்கின்றன.

• வரிசைகள்: "வினவல்" டோக்கனைக் குறிக்கின்றன (கவனம் செலுத்தும் சொல்).
• நெடுவரிசைகள்: "விசை" டோக்கனைக் குறிக்கின்றன (கவனம் செலுத்தப்படும் சொல்).
• செல் நிறம்: `(row_i, col_j)` இல் உள்ள செல்லின் நிற தீவிரம் டோக்கன் `i` இலிருந்து டோக்கன் `j` க்கான கவன எடையுடன் ஒத்துப்போகிறது. கருமையான நிறம் அதிக எடையைக் குறிக்கிறது.

இந்தக் காட்சி உயர்-நிலை வடிவங்களைக் கண்டறிவதற்கு சிறந்தது, அதாவது வலுவான மூலைவிட்ட கோடுகள் (தங்களை கவனிக்கும் சொற்கள்), செங்குத்து கோடுகள் (ஒரு ஒற்றை சொல், நிறுத்தற்குறி போன்றது, அதிக கவனத்தை ஈர்க்கிறது) அல்லது தொகுதி போன்ற கட்டமைப்புகள்.

நெட்வொர்க் காட்சி: ஒரு ஊடாடும் இணைப்பு வலை

இந்த காட்சி ஒற்றை சொல்லிலிருந்து இணைப்புகளைப் புரிந்துகொள்வதற்கு பெரும்பாலும் மிகவும் உள்ளுணர்வுடன் இருக்கிறது. டோக்கன்கள் ஒரு வரியில் காட்டப்படுகின்றன. ஒரு பயனர் ஒரு குறிப்பிட்ட டோக்கனின் மீது தங்கள் சுட்டியை வட்டமிடும்போது, ​​அந்த டோக்கனிலிருந்து மற்ற எல்லா டோக்கன்களுக்கும் கோடுகள் வரையப்படுகின்றன.

• லைன் ஒளிபுகாநிலை/தடிமன்: டோக்கன் `i` ஐ டோக்கன் `j` க்கு இணைக்கும் கோட்டின் காட்சி எடை கவன மதிப்பெண்ணுக்கு விகிதாசாரமாகும்.
• ஊடாடுதல்: இந்த காட்சி உள்ளார்ந்த முறையில் ஊடாடும் மற்றும் ஒரு நேரத்தில் ஒரு சொல்லின் சூழல் திசையனைப் பார்க்க ஒரு கவனம் செலுத்தும் பார்வையை வழங்குகிறது. இது "கவனம் செலுத்துதல்" உருவகத்தை அழகாக விளக்குகிறது.

மல்டி-ஹெட் காட்சி: இணையாகப் பார்த்தல்

டிரான்ஸ்ஃபார்மர் கட்டமைப்பு மல்டி-ஹெட் கவனிப்பின் மூலம் அடிப்படை கவன இயக்கமுறையை மேம்படுத்துகிறது. Q, K, V கணக்கீட்டை ஒரு முறை செய்வதற்கு பதிலாக, அதை பல முறை இணையாகச் செய்கிறது (எ.கா., 8, 12 அல்லது அதற்கு மேற்பட்ட "தலைகள்"). ஒவ்வொரு தலையும் வித்தியாசமான Q, K, V கணிப்புகளை உருவாக்க கற்றுக்கொள்கிறது, எனவே வெவ்வேறு வகையான உறவுகளில் கவனம் செலுத்த கற்றுக்கொள்ள முடியும். உதாரணமாக, ஒரு தலை தொடரியல் உறவுகளைக் (வினை-வினை உடன்பாடு போன்றவை) கண்காணிக்கக் கற்றுக்கொள்ளலாம், மற்றொன்று சொற்பொருள் உறவுகளைக் (ஒத்த சொற்கள் போன்றவை) கண்காணிக்கலாம்.

உங்கள் UI இதை ஆராய பயனரை அனுமதிக்க வேண்டும். பயனர் எந்த கவன தலையை (மற்றும் எந்த அடுக்கை) காட்சிப்படுத்த விரும்புகிறார்கள் என்பதைத் தேர்ந்தெடுக்க அனுமதிக்கும் ஒரு எளிய கீழ்தோன்றும் மெனு அல்லது டேப்களின் தொகுப்பு ஒரு முக்கியமான அம்சமாகும். வெவ்வேறு தலைகள் மாதிரியின் புரிதலில் வகிக்கும் சிறப்பு பாத்திரங்களை பயனர்கள் கண்டறிய இது அனுமதிக்கிறது.

ஒரு நடைமுறை செயல்முறை: கவனத்தை குறியீடு மூலம் உயிர்ப்பித்தல்

கருத்தியல் குறியீட்டைப் பயன்படுத்தி செயல்படுத்தல் படிகளை கோடிட்டுக் காட்டுவோம். குறிப்பிட்ட கட்டமைப்பு தொடரியலை விட தர்க்கத்தில் கவனம் செலுத்துவோம், அதை உலகளவில் பயன்படுத்தக்கூடியதாக வைத்திருக்க.

படி 1: கட்டுப்படுத்தப்பட்ட சூழலுக்கான தரவைப் போலச் செய்தல்

ஒரு நேரடி மாதிரியுடன் இணைப்பதற்கு முன், நிலையான, போலச் செய்யப்பட்ட தரவுடன் தொடங்கவும். இது முழு ஃபிரண்ட்எண்டையும் தனிமைப்படுத்தலில் உருவாக்க உங்களை அனுமதிக்கிறது. முன்னர் விவரிக்கப்பட்டதைப் போன்ற ஒரு கட்டமைப்பைக் கொண்டு ஒரு ஜாவாஸ்கிரிப்ட் கோப்பை, `mockData.js` ஐ உருவாக்கவும்.

படி 2: உள்ளீட்டு டோக்கன்களை வழங்குதல்

உங்கள் `tokens` வரிசையில் மேப் செய்து ஒவ்வொன்றையும் வழங்கும் ஒரு கூறுகளை உருவாக்கவும். ஒவ்வொரு டோக்கன் உறுப்புக்கும் காட்சிப்படுத்தல் புதுப்பிப்புகளைத் தூண்டும் நிகழ்வு கையாளுபவர்கள் (`onMouseEnter`, `onMouseLeave`) இருக்க வேண்டும்.

கருத்தியல் ரியாக்ட்-போன்ற குறியீடு:

const TokenDisplay = ({ tokens, onTokenHover }) => { return (

); }

படி 3: வெப்ப வரைபடக் காட்சியை செயல்படுத்துதல் (D3.js உடன் கருத்தியல் குறியீடு)

இந்த கூறு முழு கவன மேட்ரிக்ஸை ஒரு முட்டுக்கட்டையாக எடுக்கும். ஒரு SVG உறுப்புக்குள் வழங்குவதைக் கையாள D3.js ஐப் பயன்படுத்தலாம்.

கருத்தியல் தர்க்கம்:

1. ஒரு SVG கொள்கலனை உருவாக்கவும்.
2. உங்கள் அளவீடுகளை வரையறுக்கவும். x மற்றும் y அச்சுகளுக்கு ஒரு `d3.scaleBand()` (டோக்கன்களை நிலைகளுக்கு வரைபடமாக்குதல்) மற்றும் நிறத்திற்கு ஒரு `d3.scaleSequential(d3.interpolateBlues)` (0-1 இலிருந்து ஒரு நிறத்திற்கு எடையை வரைபடமாக்குதல்).
3. உங்கள் தட்டையான மேட்ரிக்ஸ் தரவை SVG `rect` கூறுகளுடன் பிணைக்கவும்.
4. உங்கள் அளவீடுகள் மற்றும் தரவை அடிப்படையாகக் கொண்டு ஒவ்வொரு செவ்வகத்திற்கும் `x`, `y`, `width`, `height` மற்றும் `fill` பண்புகளை அமைக்கவும்.
5. பக்கத்திலும் மேலேயும் டோக்கன் லேபிள்களைக் காண்பிக்கும் தெளிவுக்காக அச்சுகளைச் சேர்க்கவும்.

படி 4: ஊடாடும் நெட்வொர்க் காட்சியை உருவாக்குதல் (கருத்தியல் குறியீடு)

`TokenDisplay` கூறிலிருந்து வரும் வட்டமிடும் நிலையால் இந்த காட்சி இயக்கப்படுகிறது. ஒரு டோக்கன் குறியீடு வட்டமிடும்போது, ​​இந்த கூறு கவன வரிகளை வழங்குகிறது.

கருத்தியல் தர்க்கம்:

1. பெற்றோர் கூறின் நிலையிலிருந்து தற்போது வட்டமிடும் டோக்கன் குறியீட்டைப் பெறுக.
2. டோக்கன் வட்டமிடப்படவில்லை என்றால், எதையும் வழங்க வேண்டாம்.
3. `hoveredIndex` இல் ஒரு டோக்கன் வட்டமிடப்பட்டால், அதன் கவன எடைகளைப் பெறுக: `weights[hoveredIndex]`.
4. உங்கள் டோக்கன் காட்சியை மேலெழுதும் ஒரு SVG உறுப்பை உருவாக்கவும்.
5. வாக்கியத்தில் உள்ள ஒவ்வொரு டோக்கனுக்கும் `j`, தொடக்க ஒருங்கிணைப்பை கணக்கிடுங்கள் (டோக்கன் மையத்தின் மையம் `hoveredIndex`) மற்றும் முடிவு ஒருங்கிணைப்பு (டோக்கன் மையத்தின் மையம் `j`).
6. தொடக்கம் முதல் முடிவு ஒருங்கிணைப்பு வரை ஒரு SVG `` அல்லது `` ஐ வழங்கவும்.
7. கோட்டின் `stroke-opacity` கவன எடைக்கு சமமாக இருக்க அமைக்கவும் `weights[hoveredIndex][j]`. இது முக்கியமான இணைப்புகளை மேலும் உறுதியானதாக மாற்றுகிறது.

உலகளாவிய உத்வேகம்: காடுகளில் கவன காட்சிப்படுத்தல்

நீங்கள் சக்கரத்தை மீண்டும் கண்டுபிடிக்க தேவையில்லை. பல சிறந்த திறந்த மூல திட்டங்கள் வழியை வகுத்துள்ளன மற்றும் உத்வேகமாக செயல்பட முடியும்:

• BertViz: ஜெஸ்ஸி விக் உருவாக்கியது, இது BERT-குடும்ப மாதிரிகளில் கவனத்தை காட்சிப்படுத்துவதற்கான மிகவும் பிரபலமான மற்றும் விரிவான கருவியாகும். இது வெப்ப வரைபடம் மற்றும் நெட்வொர்க் காட்சிகளை உள்ளடக்கியது, நாங்கள் விவாதித்தோம், மற்றும் மாதிரி விளக்கத்திற்கான பயனுள்ள UI/UX இல் ஒரு முன்மாதிரி வழக்கு ஆய்வு ஆகும்.
• Tensor2Tensor: அசல் டிரான்ஸ்ஃபார்மர் தாள் டென்சர்2டென்சர் நூலகத்தில் காட்சிப்படுத்தல் கருவிகளுடன் இணைக்கப்பட்டது, இது ஆராய்ச்சி சமூகத்திற்கு புதிய கட்டமைப்பைப் புரிந்துகொள்ள உதவியது.
• e-ViL (ETH ஜூரிச்): இந்த ஆராய்ச்சி திட்டம் LLM நடத்தையை காட்சிப்படுத்துவதற்கான மேம்பட்ட மற்றும் நுணுக்கமான வழிகளை ஆராய்கிறது, நியூரான் செயல்படுத்தல்கள் மற்றும் பிற உள் நிலைகளைப் பார்க்க எளிய கவனத்தைத் தாண்டி செல்கிறது.

முன்னோக்கி செல்லும் பாதை: சவால்கள் மற்றும் எதிர்கால திசைகள்

கவனத்தை காட்சிப்படுத்துவது ஒரு சக்திவாய்ந்த நுட்பமாகும், ஆனால் இது மாதிரி விளக்கத்தில் இறுதி வார்த்தை அல்ல. நீங்கள் ஆழமாகச் செல்லும்போது, ​​இந்த சவால்கள் மற்றும் எதிர்கால எல்லைகளைக் கவனியுங்கள்:

• அளவிடுதல்: 4,000 டோக்கன்களின் சூழலுக்கு நீங்கள் கவனத்தை எவ்வாறு காட்சிப்படுத்துவது? ஒரு 4000x4000 மேட்ரிக்ஸ் திறம்பட வழங்க மிகவும் பெரியது. எதிர்கால கருவிகள் சொற்பொருள் பெரிதாக்குதல், கிளஸ்டரிங் மற்றும் சுருக்கம் போன்ற நுட்பங்களை இணைக்க வேண்டும்.
• சம்பந்தம் vs. காரணம்: அதிக கவனம் மாதிரி ஒரு வார்த்தையைப் பார்த்தது என்பதைக் காட்டுகிறது, ஆனால் அந்த வார்த்தை ஒரு குறிப்பிட்ட வெளியீட்டை ஏற்படுத்தியது என்பதை நிரூபிக்கவில்லை. இது விளக்க ஆராய்ச்சி ஒரு நுட்பமான ஆனால் முக்கியமான வேறுபாடு.
• கவனத்தைத் தாண்டி: கவனம் டிரான்ஸ்ஃபார்மரின் ஒரு பகுதி மட்டுமே. காட்சிப்படுத்தல் கருவிகளின் அடுத்த அலை மற்ற கூறுகளை வெளிச்சம் போட்டுக் காட்ட வேண்டும், ஃபீட்-ஃபார்வர்ட் நெட்வொர்க்குகள் மற்றும் மதிப்பு-கலவை செயல்முறை போன்றவற்றை மேலும் முழுமையான படத்தை வழங்க வேண்டும்.

முடிவு: AI க்கான ஒரு சாளரமாக ஃபிரண்ட்எண்ட்

டிரான்ஸ்ஃபார்மர் கட்டமைப்பு இயந்திர கற்றல் ஆராய்ச்சியின் தயாரிப்பாக இருக்கலாம், ஆனால் அதைப் புரிந்துகொள்ள வைப்பது மனித-கணினி தொடர்புகளின் சவாலாகும். உள்ளுணர்வு, ஊடாடும் மற்றும் தரவு நிறைந்த இடைமுகங்களை உருவாக்குவதில் உள்ள எங்கள் நிபுணத்துவம் மனிதப் புரிதலுக்கும் இயந்திர சிக்கலுக்கும் இடையிலான இடைவெளியைக் குறைப்பதற்கான ஒரு தனித்துவமான நிலையில் எங்களை வைக்கிறது.

கவனம் போன்ற இயக்கமுறைகளை காட்சிப்படுத்துவதற்கான கருவிகளை உருவாக்குவதன் மூலம், நாங்கள் மாதிரிகளை பிழைத்திருத்துவதை விட அதிகமாக செய்கிறோம். நாங்கள் அறிவைப் பரவலாக்குகிறோம், ஆராய்ச்சியாளர்களை மேம்படுத்துகிறோம், மேலும் நமது உலகை அதிகரித்து வரும் AI அமைப்புகளுடன் மிகவும் வெளிப்படையான மற்றும் நம்பகமான உறவை வளர்க்கிறோம். அடுத்த முறை நீங்கள் ஒரு LLM உடன் தொடர்பு கொள்ளும்போது, ​​மேற்பரப்பின் கீழ் கணக்கிடப்படும் கவன மதிப்பெண்களின் சிக்கலான, கண்ணுக்குப் புலப்படாத வலையை நினைவில் கொள்ளுங்கள் - மேலும் அதை புலப்படும் திறன்கள் உங்களிடம் உள்ளன என்பதை அறிந்து கொள்ளுங்கள்.